Ошибки при использовании коэффициентов корреляции и детерминации

А.И. Орлов

	Коэффициенты корреляции и детерминации широко используются при статистическом анализе данных. При этом достаточно часто допускаются те или иные ошибки. Некоторые из них рассмотрены в настоящей статье. Ограничимся случаем двух переменных. Наиболее часто используют линейный парный коэффициент корреляции Пирсона и непараметрические ранговые коэффициенты Спирмена и Кендалла. Согласно теории измерений коэффициент корреляции Пирсона можно применять к переменным, измеренным в шкале интервалов (и в шкалах с более узкой группой допустимых преобразований, например, в шкале отношений). Его нельзя применять при анализе порядковых данных.  Непараметрические ранговые коэффициенты Спирмена и Кендалла предназначены для оценки связи порядковых переменных. Их можно использовать и в шкалах с более узкой группой допустимых преобразований, например, в шкалах интервалов или отношений. Критическое значение при проверке значимости отличия коэффициента корреляции от 0 зависит от объема выборки и приближается к 0 при его росте. Поэтому использование "шкалы Чеддока" некорректно. При применении пассивного эксперимента коэффициенты корреляции можно обоснованно использовать лишь для прогнозирования, но не для управления. Для получения предназначенных для управления вероятностно-статистических моделей необходим активный эксперимент. Как показал С.Н. Бернштейн, влияние выбросов на коэффициент корреляции Пирсона весьма велико. Эффект «вздувания» коэффициента корреляции состоит в том, что при увеличении числа проанализированных наборов предикторов заметно растет максимальный из соответствующих коэффициентов корреляции - показателей качества приближения. Распространенная ошибка состоит в использовании коэффициента детерминации для оценки качества восстановления зависимости методом наименьших квадратов.

	Ключевые слова: математическая статистика, коэффициент корреляции Пирсона, непараметрические ранговые коэффициенты корреляции, выбросы, коэффициент детерминации, распространенные ошибочные выводы

	Коэффициенты корреляции и детерминации широко используются при статистическом анализе данных. При этом достаточно часто допускаются те или иные ошибки. Некоторые из них рассмотрены ниже.
	Ограничимся случаем двух переменных. Пусть (X, Y) - двумерный случайный вектор. Наиболее часто используют линейный парный коэффициент корреляции Пирсона и непараметрические ранговые коэффициенты Спирмена и Кендалла. 
	Согласно теории измерений [1] коэффициент корреляции Пирсона можно применять к переменным, измеренным в шкале интервалов (и в шкалах с более узкой группой допустимых преобразований, например, в шкале отношений). Его нельзя применять при анализе порядковых данных (например, для анализа связи успеваемости по двум учебным предметам). Непараметрические ранговые коэффициенты Спирмена и Кендалла предназначены для оценки связи порядковых переменных. Их можно использовать и в шкалах с более узкой группой допустимых преобразований, например, в шкалах интервалов или отношений.
	Исходя из теории устойчивости [2], одни и те же данные целесообразно обработать разными способами и сравнить результаты. В частности, целесообразно рассчитать все упомянутые выше коэффициенты корреляции.
	Если X и Y - независимые случайные величины, то коэффициенты корреляции равны 0. Обратное неверно - из равенства 0 коэффициента корреляции не следует, что случайные величины X и Y - независимы. 

1. Значимость отличия от 0 и "шкала Чеддока"
	Выборочные коэффициенты корреляции отличаются от теоретических. Их распределения являются асимптотически нормальными. 
	Часто проверяют нулевую гипотезу о том, что тот или иной теоретический коэффициент корреляции равен 0. Если эта гипотеза отклоняется, то можно утверждать, что случайные величины X и Y  зависимы. Гипотеза отклоняется на уровне значимости , если выборочный коэффициент корреляции по абсолютной величине больше граничного значения , где n - объем выборки, C и f - некоторые функции, причем 
.
	Для коэффициента корреляции Пирсона функция f зависит от распределения случайного вектора (X, Y). Распространенные таблицы рассчитаны для случая двумерного нормального распределения (X, Y). Хорошо известно, что распределения подавляющего большинства реальных данных не являются нормальными. Следовательно, применение правил, сформированных для двумерного нормального распределения, как правило, не является обоснованным. 
	Для непараметрических коэффициентов ранговой корреляции Спирмена и Кендалла свойства правил проверки гипотезы о том, что теоретический коэффициент корреляции равен 0, не зависят от распределения данных.
	Иногда показателям тесноты связи (модулям коэффициентов корреляции) пытаются дать качественную оценку (т.н. шкала Чеддока, см. табл.1): 

Таблица 1. Шкала Чеддока
Количественная мера тесноты связи 	Качественная характеристика силы связи	
0,1 - 0,3 	Слабая 	
0,3 - 0,5 	Умеренная 	
0,5 - 0,7 	Заметная 	
0,7 - 0,9 	Высокая 	
0,9 - 0,99 	Весьма высокая 	

Такая рекомендация не вполне адекватна. При малых объемах выборки значение коэффициента корреляции 0,5 или 0,7 вполне совместимо со справедливостью гипотезы о том, что теоретический коэффициент корреляции равен 0. А при достаточно большом объеме выборки коэффициент 0,1 может свидетельствовать о необходимости отклонения такой гипотезы. 

2. Активный и пассивный эксперименты

	Вопреки часто встречающимся мнениям и предложениям, коэффициенты корреляции можно обоснованно использовать лишь для прогнозирования, но не для управления.
	Рассмотрим упрощенный пример. Пусть X - число телевизоров в городе, Y - число преступлений в этом городе, Z - число психических заболеваний в нем. Были собраны данные по нескольким сотням городов (англосаксонских стран). Выборочный коэффициент корреляции между X и Y оказался равным практически 1. Весьма мало отличался от 1 и выборочный коэффициент корреляции между X и Z. С высокой степенью точности справедливы зависимости Y = aX и Z = bX. С помощью этих зависимостей можно надежно прогнозировать число преступлений и число психических заболеваний по число телевизоров в городе. 
	В подобных ситуациях часто возникает желание использовать зависимости Y = aX и Z = bX для управления. Однако очевидно, что прекращение телевещания (переход к X = 0) не приведет к резкому снижению число преступлений и число психических заболеваний. В чем причина неудачи, казалось бы, естественного подхода к управлению? Дело в том, что значения всех трех рассматриваемых переменных определяются значениями четвертой переменной (латентной, скрытой) - числа жителей города W. А именно, с высокой точностью X = cW, Y = dW, Z = eW, откуда Y = (d/c)X, Z = (e/c)X. 
	Проблема в том, что при анализе реальных данных не всегда ясно наличие или отсутствие латентных переменных, определяющих успех управления по регрессионным зависимостям. Полезны понятия "пассивный эксперимент" и "активный эксперимент". При пассивном эксперименте данные накапливаются путем пассивного наблюдения, другими словами, информацию получают в условиях обычного функционирования изучаемых объектов. Активный эксперимент проводится с применением искусственного воздействия на изучаемые объекты по специальной программе. 
	При пассивном эксперименте существуют только факторы в виде входных контролируемых, но неуправляемых переменных, и экспериментатор находится в положении пассивного наблюдателя. Задача планирования в этом случае сводится к оптимальной организации сбора информации и решению таких вопросов, как выбор количества и частоты измерений, выбор метода обработки результатов измерений.
	Наиболее часто целью пассивного эксперимента является построение математической модели объекта. Хорошим примером пассивного эксперимента являются измерения метеорологических параметров (температуры, скорости ветра и т.д.).
	Активный эксперимент основан на задании экспериментатором значений факторов. Такой эксперимент позволяет быстрее и эффективнее решать задачи исследования, но более сложен, требует больших материальных затрат и может помешать нормальному ходу технологического процесса. Иногда отсутствует возможность проведения активного эксперимента (например, при исследовании явлений природы). Тем не менее, учитывая преимущества активного эксперимента, тогда, когда это возможно, предпочтение отдают ему. Теория планирования экспериментов [3, 4] посвящена прежде всего активным экспериментам.

3. Влияние выбросов на коэффициент корреляции

	Акад. АН СССР С.Н. Бернштейн еще в 1932 г. рассмотрел [5] следующую проблему: "Определить наименьшее возможное значение коэффициента корреляции Пирсона R между величинами X и Y, если известно, что математические ожидания их равны 0 и что существуют две константы L и  такие, что всегда
. "
	Пусть . В [5] показано, что минимум коэффициента корреляции R достигается при  и равен 
.
Для достижения минимума необходимо и достаточно, чтобы постоянно выполнялось одно из равенств 
.
Таким образом, минимум R достигается, когда Y есть функция X, которую можно даже предполагать монотонной, если имеем, например, 

	Рассмотрев численный пример, С.Н. Бернштейн заканчивает статью [5] так: "... достаточно, чтобы только один из 701 индивида не подчинился господствующему закону пропорциональности Y = 0,1X, чтобы коэффициент корреляции понизился до значения 0,198".
	Таким образом, влияние выбросов на коэффициент корреляции может быть весьма велико. Следовательно, перед расчетом коэффициента корреляции необходимо исключить выбросы из выборки. Хорошо известно [1], что обоснованное исключение выбросов может быть проведено только на основе соображений предметной области, поскольку математико-статистические алгоритмы являются крайне неустойчивыми по отношению к отклонениям от функции распределения, принятой в вероятностно-статистической модели.

4. Вздувание коэффициентов корреляции

	Это явление обнаружил А.Н. Колмогоров в работе 1933 г. «К вопросу о пригодности найденных статистическим путем формул прогноза» [6]. Предположим, что имеется много наборов предикторов (факторов, признаков). Для каждого из них строится наилучшее приближение отклика с помощью линейной функции от предикторов. Показателем качества приближения служит коэффициент корреляции между откликом и наилучшей линейной функцией от предикторов (в настоящее время чаще используют его квадрат, называемый коэффициентом детерминации). Эффект «вздувания» коэффициента корреляции состоит в том, что при увеличении числа проанализированных наборов предикторов заметно растет максимальный из соответствующих коэффициентов корреляции - показателей качества приближения. Создается впечатление, что тот набор предикторов, на котором достигается рассматриваемый максимум, дает хорошее приближение для отклика. Однако это впечатление развеивается при попытке использовать соответствующую зависимость для прогноза – по новым данным коэффициент корреляции между откликом и ранее найденной линейной функцией от предикторов оказывается значительно меньшим. 
	В настоящее время весьма популярны методы поиска «наиболее информативного множества признаков» в регрессионном и дискриминантном анализе. Соответствующие алгоритмы, как правило, основаны на переборе большого числа наборов признаков. Поэтому, как показано в [7], актуальность работы А.Н. Колмогорова [6] в настоящее время существенно повысилась. Эффект «вздувания» коэффициента корреляции является одним из проявлений неклассического поведения статистических характеристик в ситуации, когда одна и та же статистическая процедура осуществляется многократно, например, при множественных проверках статистических гипотез [8].
	В течение полувека А.Н.Колмогоров интересовался статистическими постановками, в которых число неизвестных параметров растет вместе с объемом данных. К ним относится и кратко рассмотренная выше работа [6]. А в 1970-х годах он стимулировал исследования по т.н. «асимптотике Колмогорова» , где р - число параметров, n – объем выборки. Эта асимптотика весьма актуальна как для многомерного статистического анализа [9], так и для статистики объектов нечисловой природы [10], а также для задач статистического приемочного контроля [11]. 

5. Коэффициент детерминации

	Как уже отмечалось, для модели линейной регрессии с одним признаком (фактором) X коэффициент детерминации равен квадрату линейного парного коэффициента корреляции Пирсона между X и откликом Y. Необходимо подчеркнуть, что такая интерпретация корректна только тогда, когда анализируемые данные являются выборкой из двумерного распределения. Чуть подробнее: исходные данные рассматриваются как независимые одинаково распределенные случайные вектора. Отсюда следует, что если фактор X детерминирован (например, время), то коэффициент детерминации не является квадратом коэффициента корреляции, поскольку понятие коэффициента корреляции для подобной постановки не определено. Следовательно, коэффициент детерминации не является показателем качества зависимости, построенной с помощью метода наименьших квадратов.
	Распространенная ошибка состоит в использовании коэффициента детерминации для оценки качества восстановления зависимости методом наименьших квадратов. Часто заявляют, что близость к 1 коэффициента детерминации свидетельствует об успешном восстановлении зависимости. При этом взгляд на данные (на корреляционное поле) может дать совершенно иной вывод. Например, все точки, кроме одной, лежат в небольшой по диаметру области и вытянуты вдоль гиперболы. Оставшаяся точка расположена далеко вправо вверху. Формальное применение метода наименьших квадратов приводит к тому, что единственный "выброс"  меняет гиперболу на возрастающую линейную зависимость (сопоставьте с примером С.Н. Бернштейна, рассмотренным выше в п.3). 
	Формально рассчитанный коэффициент детерминации в рассматриваемой постановке может быть сколь угодно близким к 1. Однако использование этого факта для обоснования утверждения о высоком качестве восстановления зависимости скорее всего является примером неверной интерпретации. Во-первых, из-за неисключенных выбросов. Во-вторых, из-за нарушения предпосылок вероятностно-статистической модели выборки (если фактор X детерминирован).
	Практическая рекомендация состоит в предварительном проведении отбраковки "выбросов" и проверке выполнения предпосылок вероятностно-статистической модели.

6. Заключение

	Каждый из рассмотренных выше примеров можно было бы развернуть в отдельную статью, в частности, дав определения используемых понятий и  рассмотрев численные примеры. Мы не стали этого делать, чтобы не увеличивать излишне объем статьи. Определения можно найти в Интернете, а расчеты читатель может провести самостоятельно. 
	Как уже отмечалось [12], основная проблема современной науки - всеобщее невежество научных работников. Мы постарались показать, что нельзя бездумно применять распространенные программные продукты (ср. [13]). Необходимо владеть основами прикладной статистики. Иначе вместо обоснованных результатов статистического анализа данных можно получить ошибочные заключения.
	Отметим, что многие важные результаты (в частности, принадлежащие А.Н. Колмогорову и С.Н. Бернштейну) были получены много десятилетий назад. Следовательно, грубо ошибочна встречающаяся иногда ориентация исследователей и редакций научных журналов только на публикации последних 5 лет.

Литература

1. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
2. Орлов А.И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. — 296 с.
3. Налимов В.В. Теория эксперимента. М.: Наука, 1971. - 208 с.
4. Ермаков С.М., Бродский В.З., Жиглявский А.А. и др. Математическая теория планирования эксперимента. М.: Физматлит, 1983. — 392 с.
5. Бернштейн С.Н. Об одном элементарном свойстве коэффициента корреляции // Зап. Харьк. матем. тов. 5 (1932), 65-66; Бернштейн С.Н. Собрание сочинений. Том IV. Теория вероятностей. Математическая статистика [1911 - 1946]. М.: Наука, 1964. С. 233-234.
6. Колмогоров А.Н. К вопросу о пригодности найденных статистическим путем формул прогноза // Журн. геофиз. 1933, т.3. с. 78-82; Колмогоров А.Н. Теория вероятностей и математическая статистика. – М.: Наука, 1986. - С. 161-167. 
7. Орлов А.И. Методы поиска наиболее информативных множеств признаков в регрессионном анализе // Заводская лаборатория. Диагностика материалов. 1995. Т.61. № 1. С. 56-58.
8. Орлов А.И. Проблема множественных проверок статистических гипотез // Заводская лаборатория. Диагностика материалов. 1996. Т.62. № 5. С. 51-54. 
9. Сердобольский В.И., Орлов А.И. Статистический анализ при большом числе параметров // Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа / Тезисы докладов III Всесоюзной школы-семинара. - М.: ЦЭМИ АН СССР, 1987. С. 151-160.
10. Орлов А.И. Организационно-экономическое моделирование: : учебник : в 3 ч. Ч.1: Нечисловая статистика. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2009. — 542 с.
11. Орлов А.И. Статистический контроль по двум альтернативным признакам и метод проверки их независимости по совокупности малых выборок // Заводская лаборатория. Диагностика материалов. 2000. Т.66. № 1. С. 58-62. 
12. Лойко В. И., Луценко Е. В., Орлов А. И. Современные подходы в наукометрии: монография / Под науч. ред. проф. С. Г. Фалько. – Краснодар: КубГАУ, 2017. – 532 с. В РИНЦ: https://elibrary.ru/item.asp?id=29306423
13. Орлов А.И. Статистические пакеты – инструменты исследователя // Заводская лаборатория. Диагностика материалов. 2008. Т.74. № 5. С. 76-78.

Errors in the use of correlation and determination coefficients

A.I. Orlov

	Coefficients of correlation and determination are widely used in statistical analysis of data. In this case, often enough, these or other errors are allowed. Some of them are considered in this article. We confine ourselves to the case of two variables. The most commonly used linear Pearson correlation coefficient and the nonparametric rank coefficients of Spearman and Kendall. According to the theory of measurements, the Pearson correlation coefficient can be applied to variables measured in the interval scale (and in scales with a narrower group of permissible transformations, for example, in the ratio scale). It can not be used in the analysis of ordinal data. Spearman and Kendall's nonparametric rank coefficients are designed to evaluate the relationship of ordinal variables. They can also be used in scales with a narrower group of permissible transformations, for example, in the scales of intervals or ratios. The critical value in testing the significance of the difference in the correlation coefficient from 0 depends on the sample size and approaches 0 as it grows. Therefore, the use of the "Cheddock scale" is incorrect. When using a passive experiment, the correlation coefficients can be reasonably used only for forecasting, but not for control. To obtain the statistical models intended for control, an active experiment is needed. As S.N. Bernshtein, the effect of outliers on the Pearson correlation coefficient is very large. The effect of "inflation" of the correlation coefficient is that with increasing number of analyzed sets of predictors, the maximum of the corresponding correlation coefficients, the quality of approximation, increases noticeably. A common mistake is to use the determination coefficient to estimate the quality of the least-squares recovery.

	Keywords: mathematical statistics, Pearson correlation coefficient, nonparametric rank correlation coefficients, outliers, determination coefficient, common erroneous conclusions.

References

	1. Orlov A.I. Prikladnaja statistika [Applied statistics]. - M.: Jekzamen, 2006. - 671 s.
	2. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah [Stability in socio-economic models]. — M.: Nauka, 1979. — 296 s.
	3. Nalimov V.V. Teorija jeksperimenta [Theory of experiment]. - M.: Nauka, 1971. - 208 s.
	4. Ermakov S.M., Brodskij V.Z., Zhigljavskij A.A. i dr. Matematicheskaja teorija planirovanija jeksperimenta [Mathematical theory of design of experiments]. - M.: Fizmatlit, 1983. — 392 s.
	5. Bernshtejn S.N. Ob odnom jelementarnom svojstve kojefficienta korreljacii [On an elementary property of the correlation coefficient] // Zap. Har'k. matem. tov. 5 (1932), 65-66; Bernshtejn S.N. Sobranie sochinenij. Tom IV. Teorija verojatnostej. Matematicheskaja statistika [1911 - 1946]. M.: Nauka, 1964. S. 233-234.
	6. Kolmogorov A.N. K voprosu o prigodnosti najdennyh statisticheskim putem formul prognoza [To the question of the suitability of the predicted formulas found statistically] // Zhurn. geofiz. 1933, t.3. s. 78-82; Kolmogorov A.N. Teorija verojatnostej i matematicheskaja statistika. – M.: Nauka, 1986. - S. 161-167. 
	7. Orlov A.I. Metody poiska naibolee informativnyh mnozhestv priznakov v regressionnom analize [Methods for finding the most informative sets of characteristics in regression analysis] // Zavodskaja laboratorija. Diagnostika materialov. 1995. T.61. № 1. S. 56-58.
	8. Orlov A.I. Problema mnozhestvennyh proverok statisticheskih gipotez [The problem of multiple tests of statistical hypotheses] // Zavodskaja laboratorija. Diagnostika materialov. 1996. T.62. № 5. S. 51-54. 
	9. Serdobol'skij V.I., Orlov A.I. Statisticheskij analiz pri bol'shom chisle parametrov [Statistical analysis with a large number of parameters] // Programmno-algoritmicheskoe obespechenie prikladnogo mnogomernogo statisticheskogo analiza / Tezisy dokladov III Vsesojuznoj shkoly-seminara. - M.: CJeMI AN SSSR, 1987. S. 151-160.
	10. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: : uchebnik : v 3 ch. Ch.1: Nechislovaja statistika [Organizational-economic modeling:: Textbook: at 3 pm Part 1: Non-numeric statistics]. — M.: Izd-vo MGTU im. N. Je. Baumana, 2009. — 542 s.
	11. Orlov A.I. Statisticheskij kontrol' po dvum al'ternativnym priznakam i metod proverki ih nezavisimosti po sovokupnosti malyh vyborok [Statistical control of two alternative variables and a method for verifying their independence from a set of small samples] // Zavodskaja laboratorija. Diagnostika materialov. 2000. T.66. № 1. S. 58-62. 
	12. Lojko V. I., Lucenko E. V., Orlov A. I. Sovremennye podhody v naukometrii: monografija [Modern approaches in scientometrics: monograph] / Pod nauch. red. prof. S. G. Fal'ko. – Krasnodar: KubGAU, 2017. – 532 s. V RINC: https://elibrary.ru/item.asp?id=29306423.
	13. Orlov A.I. Statisticheskie pakety – instrumenty issledovatelja [Statistical packages - researcher tools] // Zavodskaja laboratorija. Diagnostika materialov. 2008. T.74. № 5. S. 76-78.